\subsubsection{ICML}
\begin{itemize}
    \item \citet{pmlr-v162-patil22b}提出了\textit{Private Optimal Energy Training系统}，优化了\textit{内存受限边缘设备上的深度神经网络训练能耗}。
    \item \citet{kwon2024tinytrain}提出了\textit{Tiny-Train训练框架}，优化了\textit{数据稀缺环境下的深度学习模型性能}。
\end{itemize}

论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging
    \item \textbf{研究问题}：在内存受限的边缘设备上训练深度神经网络时，如何优化能耗并保证训练速度？
    以及如何在满足最小训练吞吐量的前提下，寻找最佳的重新计算和页面调度策略
    \item \textbf{方法与技术}：提出了名为POET（Private Optimal Energy Training）的系统，用于在内存受限的边缘设备上训练深度神经网络。
    该系统通过联合搜索重新计算和页面调度（这是减少反向传播内存消耗的算法）来优化能耗，并确保满足最小训练吞吐量的要求
    \item \textbf{主要贡献}：POET的主要创新点在于将激活重新计算和页式存储相结合，以减少内存占用并最小化总能量消耗。
    同时，POET使用整数线性规划（ILP）来解决边缘设备上的深度学习训练问题，并能够在十分钟内由商用求解器解决。
    此外，POET还可以根据给定的内存预算和训练期限生成满足这些约束条件的解决方案，并能够适应不同的硬件和网络操作符。
    \item \textbf{不足与未来方向}：未来的研究方向包括整合激活压缩以及扩大POET的搜索空间以页式存储参数等。此外，POET的能量优化策略也可以应用于云计算环境下的深度学习训练。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge
    \item \textbf{研究问题}：在数据稀缺的边缘设备上进行深度神经网络训练时所面临的挑战
    \item \textbf{方法与技术}：一种名为Tiny-Train的训练框架，该框架包括两个阶段：离线学习和在线学习。离线学习通过使用大量公共数据集进行预训练，并利用元学习技术对少量样本进行训练来提高模型的泛化能力。
    在线学习则针对特定任务，在有限的数据集上进行微调以进一步提高模型性能。此外，该框架还采用了稀疏更新策略，通过对模型中重要的层和通道进行选择性的更新，减少了计算和内存开销。
    \item \textbf{主要贡献}：与传统的整个网络微调相比，TinyTrain在准确性方面提高了3.6-5.0\%，同时将反向传播内存和计算成本分别降低了高达1,098倍和7.68倍，TinyTrain比现有方法快9.5倍、更节能3.5倍，且内存占用量仅为SOTA方法的2.23倍，同时仍保持在MCU级平台的1MB内存限制内
    \item \textbf{不足与未来方向}：可以考虑将该方法扩展到不同的架构（如Transformer、RNN等）和应用领域（如分割、音频/生物数据），或者在边缘设备上运行大型语言模型
\end{itemize}

\subsubsection{ICLR}
\begin{itemize}
    \item \citet{shala2023transfer}提出了\textit{基于深度核高斯过程的自动机器学习框架}，优化了\textit{新数据集上的最优神经网络架构发现}。
    \item \citet{mehta2022mobilevit}提出了\textit{MobileViT模型}，优化了\textit{移动视觉任务在资源受限设备上的运行需求}。
\end{itemize}

论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：Transfer NAS with Meta-learned Bayesian Surrogates
    \item \textbf{研究问题}：传统自动机器学习框架无法快速适应新数据集
    \item \textbf{方法与技术}：提出了一种基于深度核高斯过程（Deep Kernel Gaussian Process）的自动机器学习框架，用于快速发现新数据集上的最优神经网络架构。
    通过利用图神经网络（Graph Neural Network）获取神经网络的可学习表示，并使用嵌入式变换器（Set Transformer）获得数据集的可学习表示。
    然后将这两个表示合并并传递给一个全连接神经网络，以产生输入到可训练核函数中的向量。最后，通过元学习（Meta-Learning）来优化这些参数，以便在新的响应曲面上快速识别最佳配置
    \item \textbf{主要贡献}：该方法在六个计算机视觉数据集上取得了最先进的性能，并且速度与单次搜索方法相当。
    \item \textbf{不足与未来方向}：该方法针对小型数据集，可以尝试应用在微小嵌入式设备的训练上，可以考虑与现有方法结合。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer
    \item \textbf{研究问题}：如何结合卷积神经网络（CNNs）和视觉 Transformer（ViTs）的优势，构建一个轻量级、低延迟且通用的网络，以满足移动视觉任务在资源受限设备上的运行需求。
    该问题重要性在于，许多现实世界应用依赖移动设备进行实时视觉识别任务，但现有轻量级 CNNs 存在空间局部性问题，而 ViTs 虽然能学习全局表示，但存在模型笨重、优化困难、对数据增强敏感等问题，无法很好地适用于移动设备
    \item \textbf{方法与技术}：将 Transformer 作为卷积来学习全局表示，在一个张量中有效编码局部和全局信息。通过标准卷积层和逐点卷积层生成局部特征，再利用 Transformer 对展开的特征进行全局处理，最后通过折叠和卷积融合特征。
    \item \textbf{主要贡献}：相比于传统的卷积神经网络，MobileViT可以有效地利用空间诱导偏置，从而更好地处理图像中的局部结构。
    可以通过使用标准卷积层和点乘卷积层来替代复杂的多头自注意力机制，从而减少计算成本并提高效率。可以在不同大小的输入上进行训练，而无需进行任何位置插值或调整。
    \item \textbf{不足与未来方向}：作为针对移动设备缺乏专门为 Transformer 优化的操作，MobileViT是各类实验的基准模型，目前已有各种先进的版本和其他方法。 
    该论文提出的模型对推动移动设备等资源受制型进行神经网络的部署和训练有重大意义.
\end{itemize}

\subsubsection{DAC}
\begin{itemize}
    \item \citet{sheng2022FaHa}提出了\textit{FaHaNa框架}，优化了\textit{边缘设备上公平且准确的神经网络架构搜索}。
\end{itemize}
论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：The larger the fairer?: small neural networks can achieve fairness for edge devices
    \item \textbf{研究问题}：随着神经网络在边缘设备中的广泛应用，公平性问题逐渐凸显，如在人脸识别和移动医疗等领域。当前面临的挑战是，在满足边缘设备硬件规格要求的前提下，如何寻找具有公平性和准确性平衡的最优神经网络架构。
    \item \textbf{方法与技术}：论文提出了一种公平性和硬件感知的神经网络架构搜索框架FaHaNa，结合模型冻结方法，在搜索过程中考虑公平性、准确性和硬件约束。
    采用特定的搜索算法，在满足硬件规格的基础上，搜索不同的神经网络架构。在搜索过程中使用模型冻结方法，固定部分网络参数，使得搜索更高效。
    \item \textbf{主要贡献}：创新性地提出FaHaNa框架，有效解决了在边缘设备上寻找公平且准确的神经网络架构的难题。而且论文实验证明了在皮肤病学数据集上，
    FaHaNa能找到一系列具有更高公平性和准确性的神经网络。针对目标边缘设备，找到的神经网络架构相比MobileNetV2，准确率略高，模型大小缩小5.28倍，公平性得分提高15.14\% 。在Raspberry PI和Odroid XU-4设备上，推理速度分别提升5.75倍和5.79倍。
    \item \textbf{不足与未来方向}：公平性评估指标可能不够全面。 未来研究可考虑拓展公平性评估指标，使其更全面地反映模型公平性。同时，探索如何更好地适应不同类型的边缘设备和应用场景，推动边缘设备上公平且高效的神经网络发展 。 
\end{itemize}

